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一 种 基于 区 域 分 割 的 表情 鲁 棒 三 维 人 脸 识别 方法 
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摘 要 : 为 了 克服 表情 变化 致使 三 维 人 脸 识别 性 能 不 佳 的 问题 ， 提 出 基于 鼻尖 点 区 域 分 割 的 表情 鲁 棒 三 维 人 脸 识 别 

方法 。 首 先 ， 根 据 表 情 对 人 脸 影响 具有 区 域 性 的 特点 ， 提 出 仅 依赖 身 尖 点 的 表情 不 变 区 域 ( 刚 性 区 域 ) 和 表情 易 变 
〈 非 刚性 区 域 ) 划分 方法 ; 然后 针对 表情 不 变 区 域 和 表情 易 变 区 域 使 用 不 同 的 特征 描述 方式 并 计算 匹配 相似 度 ; 最 

后 将 表情 不 变 区 域 和 表情 易 变 的 相似 度 进行 加 权 融 合 实现 最 终身 份 识别 。 提 出 方法 分 别 在 FRGC v2.0 和 自 建 

WiseFace 表情 人 脸 数 据 库 上 达到 98.52% 和 99.01% 的 rank 1 识别 举 ， 证明 本 文 方法 对 表情 变化 具有 较 强 的 鲁 棒 性 。 

关键 词 : 表情 变化 ; 三 维 人 脸 识别 ; 区 域 分 割 ; 刚性 / 非 刚 性 区 域 
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Region-based expression invariant 3d face recognition 
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Abstract: In order to overcome the problems caused by expressions in 3D face recognition, a new method based on nose tip 
segmentation is proposed in this paper. First, in order to weaken the effects of facial expression, a new method that only 
needs nose tip of dividing faces into rigid and non-rigid regions is proposed. Then, considering the discrimination ability of 
rigid and non-rigid regions, this paper employ different 3D face features of the rigid and non-rigid 3D face regions. At last, 
the method fuses the rigid and non-rigid face features to address the recognition task. Experimental results on the FRGC 
V2.0 and self-built WiseFace databases show that the proposed method is robust to expression variations. The rank-one face 
recognitions rates on the two databases are 98.52% and 99.01%, separately. 


Key words: expression variations; 3d face recognition; region segment; rigid and non-rigid region 
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应 用 环境 迫切 需要 安全 可 靠 ”表达 。 最 后， 基于 区 域 的 方法 是 当前 比较 流行 的 用 于 解决 表 


的 新 型 身份 认证 方式 ， 人 脸 以 其 独特 的 非 侵犯 特性 吸引 了 众 ”” 情 不 变性 的 识别 方法 。 此 类 方法 假设 和 人 脸 由 表情 不 变 和 表情 


多 研究 者 的 普遍 关注 。 近 年 来 ， 随 着 三 
理 技术 的 发 展 ， 三 维 人 脸 识别 已 经 成 为 


一 


前 


维 人 脸 采 集 技术 及 处 易 变 区 域 组 成 。 首 先 依照 区 域 定义 ， 将 人 脸 区 域 划分 为 表情 
当前 模式 识别 、 人 工 。 易 变 和 表情 不 变 区 域 ， 然 后 对 划分 后 的 区 域 进 行 相似 度 匹 配 
智能 、 机 器 视觉 等 领域 的 研究 热点 。 其 中 ， 表 情 变化 是 影响 。 并 融合 得 到 最 终 的 识别 结果 。 这 类 方法 的 关键 在 于 区 域 的 划 
三 维和 人 脸 识 别 算法 性 能 的 主要 因素 之 一 。 表 情 鲁 棒 的 三 维 人 ” 分 策略 以 及 不 同 区 域 使 用 的 相似 度 计算 方法 ， 因 此 ， 方 法 性 


脸 识 别 也 因此 受到 众多 研究 者 的 关注 。 目 前 基于 表情 鲁 棒 的 能 的 关键 是 面部 区 域 的 划分 及 区 域 匹配 方法 的 有 效 性 ， 而 男 
三 维 人 脸 识别 大 致 可 以 分 为 三 大 类 : 统计 模型 方法 (statistical 部 区 域 的 准确 划分 又 取决 于 面部 关键 点 的 准确 定位 。 
methods)0、 同 等 形变 模型 方法 (isometric deformation 本 文 在 前 面 工作 的 基础 上 ， 提 出 一 种 基于 简 


modeling)P-3 和 基于 区 域 的 方法 (region-based methods)P21。 ”的 自动 三 维 人 脸 识 别 方法 。 首 先 ， 利 用 对 称 平面 与 鼻梁 交点 
统计 模型 方法 通过 构建 统计 模型 将 由 表情 变化 引起 的 面部 软 ”自动 检测 鼻尖 点 位 置 ， 并 且 也 只 需要 鼻尖 点 位 置 ， 切 割 出 整 


组 织 形 变 关系 通过 大 量 标记 数据 集训 练 学 习 得 到 。 因 此 ， 要 ”个 人 脸 区 域 ， 然后， 考虑 表情 对 人 脸 鼻 子 区 域 的 影响 较 小 ， 


方法 的 主要 特点 。 然 而 ， 受 限于 当前 可 用 


维 人 脸 数 据 库 表 ” 域 分 割 方法 只 


Xi 


求 具备 足够 的 、 且 具有 充足 表达 能 力 的 三 维 人 脸 数据 是 此 类 ”提出 基于 鼻尖 点 位 置 的 快速 人 脸 区 域 分 割 方法 ， 本 文人 脸 区 
好 用 到 一 个 特征 点 一 一 鼻尖 点 ， 避 免 了 以 往 方法 


情 履 盖 情 况 ， 此 类 方法 很 难 达到 实际 满意 的 表情 鲁 棒 效 果 。 中 需要 检测 多 个 面部 特征 点 的 过 程 ， 同 时 减少 了 对 其 他 特征 


同等 形变 模型 方法 即将 表情 变化 引起 的 三 维 人 脸形 变 转 换 为 


等 距 形变 特征 近似 表情 变化 特征 。 使 用 等 同形 变 的 方法 优点 。 式 实现 最 终 的 人 脸 识 别 。 
是 可 以 弱化 由 表情 变化 引起 的 三 维 形 变 ， 但 是 等 同形 变法 一 二 过 _ 

= 仿 模 型 世 页 处 
定 程度 上 也 弱化 了 人 脸 原 有 三 维 结构 。 而 且 ， 表 情 影响 具有 0 ”三维 人 脸 模型 的 自动 预 处 理 
生 ， 全 目 内 的 等 同形 变 也 不 利于 
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点 定位 准确 度 的 依赖 。 最 后 ， 对 切割 后 的 表情 不 变 和 表情 易 
等 化 形变 问题 进行 建 模 53, 将 表情 变化 近似 为 等 距 形变 , 用 ” 变 区 域 分 别 采用 不 同 的 相似 度 匹 配方 法 并 进行 加 权 融 合 的 方 


区 域 的 特征 人 脸 识 别 主要 针对 人 脸 区 域 进行 ， 因此， 首先 要 获得 精 
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准 的 人 脸 区 域 。 为 了 获得 较为 可 靠 的 人 脸 区 域 ， 首 先 对 本 文 


1 “表情 鲁 棒 的 三 维 人 脸 识别 方法 


方法 采用 的 三 维 人 脸 模型 的 预 处 理 方法 进行 介绍 。 如 图 1 所 
示 ， 本 文 三 维 人 脸 预 处 理工 作 主要 包括 鼻尖 点 自动 检测 、 三 本 文 主要 考虑 基于 区 域 的 三 维 人 脸 识别 方法 。 考 虑 以 往 
维 人 脸 切 割 以 及 姿态 矫正 和 点 云 下 采样 等 预 处 理 操作 。 基于 区 域 类 方法 多 依赖 于 面部 关键 特征 点 的 定位 ， 如 文献 [9] 
一 一 一 Se 方法 需要 检测 出 85 个 面部 特征 点 ， 文 献 [15] 方 法 需要 检测 6 
鼻尖 点 检测 四 个 面部 特征 点 ， 然 而 ， 基 于 三 维 人 脸 结 构 的 面部 特征 点 定义 
| | 本 身 以 及 特征 点 的 准确 性 检测 仍然 是 一 个 尚 待 解决 的 问题 。 
本 文 提出 一 种 简便 且 又 相对 可 靠 的 人 脸 区 域 划分 方法 。 简 便 
人 脸 剪 切 ” 一 ”姿态 矫正 是 因为 只 需要 检测 一 个 特征 点 一 一 鼻尖 点 ;可 靠 是 因为 鼻尖 
人 点 是 人 脸 最 突出 ， 特 征 最 明显 ， 从 而 检测 成 功率 较 高 的 特征 
| 点 。 首 先 按 照 受 表情 变化 影响 程度 ， 将 三 维 人 脸形 状 划分 为 
一 - 表情 不 变 区 域 /刚性 区 域 和 表情 易 变 / 非 刚性 区 域 ， 然 后 分 别 
点 云 下 采样 < 一 缺失 数据 填补 针对 表情 不 变 区 域 /刚性 区 域 和 表情 易 变 区 域 / 非 刚性 区 域 设 
图 1 三 维 人 脸 模型 预 处 理 计 不 同 的 特征 描述 方式 并 计算 测试 模型 与 注册 库 中 各 三 维 人 
Fig. 1 Preprocessing for 3D face model 脸 模型 特征 之 间 的 相似 程度 ; 最 后 将 表情 不 变 区 域 /刚性 区 域 
0.1 鼻尖 点 检测 和 表情 易 变 区 域 / 非 刚性 区 域 的 相似 度 进行 加 权 融 合 实现 最 
目前 自动 检测 三 维 人 脸 鼻尖 点 的 算法 有 很 多 ， 如 Chang 。 终身 份 识别 。 算 法 总 体 框架 如 图 2 所 示 。 
等 人 [2] 根据 采集 对 象 与 三 维 扫 描 仪 之 间 的 位 置 关 系 , 将 距离 测试 三 维 人 脸 模型 注册 库 中 三 维 人 脸 模 型 
扫描 仪 最 近 的 点 即 人 脸 上 最 高 的 点 视 为 鼻尖 点 。Chew 等 人 [9l EE 
则 根据 鼻尖 结构 的 特性 ， 提 出 基于 曲率 的 鼻尖 点 自动 检测 。 
Spreeuwers04 则 根据 鼻梁 斜坡 线 与 对 称 面 共 同 确定 鼻尖 点 ， \ ?7 对 象 n_q 
取得 了 稳定 的 检测 结果 。 本 文 使 用 Spreeuwers 14 的 方法 , 借 | 
确定 鼻梁 斜坡 线 与 人 脸 对 称 平面 9 


助人 脸 模 型 的 内 部 坐标 系 ， 


交点 作为 鼻尖 点 。 这 种 鼻尖 点 检测 方法 不 依赖 某 一 点 的 曲率 ， Sergmin Dlp ~ atl ] 


对 鼻尖 数据 缺失 有 较 强 的 鲁 棒 性 。 


0.2 ”人 脸 区 域 切割 


以 鼻尖 点 为 中 心 ， 计 算 任 意 点 (X,]2) 与 鼻尖 点 


ee 加 二 Eke DGw(peppyw(guga) 
急 测 | | ET ， 测 地 经 离 定 义 为 空 卫 六 52(p,qi) = argminyE ie 
(X00,20) 的 测 底线 距离 d 测 地 线 距 离 定 义 为 空间 两 点 沿 2 1 1 Dt Dp pr), wg, gn) 


0.3 姿态 矫正 


为 了 确保 所 有 人 脸 数据 在 相同 坐标 系 下 方便 进行 比 对 ， 类 人 脸 识 别 方法 , 刚性 / 非 刚 性 区 域 会 采用 不 同 的 相似 度 度量 


面 的 最 短路 径 。 若 4 100mm 则 保留 该 点 到 人 脸 区 域 ， 如 图 2 提出 方法 总 体 框架 图 
果 距 离 4>100 mm 则 丢弃 该 点 , 依次 剪 切 出 整个 人 脸 区 域 。 
这 样 剪 切 出 的 人 脸 区 域 既 包 括 尽 可 能 多 的 人 脸 表 面 信息 ， 同 。 1.1 刚性 / 非 刚性 区 域 划分 
时 又 包括 较 少 的 背景 信 ， 


自 


Co 


Fig.2 Overflow of the proposed method 


三 维和 人 脸 刚性 / 非 刚 1 


生 区 域 的 准确 划分 在 基于 区 域 的 三 


维 人 脸 识别 方法 中 至 关 重 要 0 !9。 对 于 基于 区 域 的 表情 鲁 棒 


需要 对 所 有 三 维 人 


姿态 矫正 需要 有 


答 进 行 统一 姿态 矫正 (坐标 归 一 化 )。 方法 ,针对 刚性 区 域 通常 会 突出 其 三 维 结构 的 特征 提取 策略 ， 
个 预先 定义 的 标准 称 之 为 参考 模 而 针对 非 网 
型 (reference model)。 每 个 待 处 理 三 维 人 脸 模 型 都 需 与 参考 征 提取 策略 。 一 旦 将 非 刚性 区 域 误 分 为 刚性 区 域 ， 则 非 刚性 
模型 进行 对 齐 ， 因 此 要 求 参 考 模型 是 可 靠 的 、 最 能 概括 人 脸 区 域 的 三 维 形变 对 于 刚性 区 域 三 维 结构 将 带 来 由 于 三 维 形变 


I 性 区 域 则 一 般 侧重 于 减弱 形变 对 其 结构 影响 的 特 


基本 形状 的 一 个 通用 模型 。 为 了 保证 与 测试 人 脸 模型 具有 大  ” 而 导致 的 巨大 相似 度 误差 。 而 若 将 刚性 区 域 误 分 到 非 刚性 区 


体 相 同 的 轮廓 ， 参 考 模型 一 般 应 由 高 精度 中 性 表情 的 三 维 人 域 则 会 削弱 其 刚性 区 域 原 有 的 三 维 结构 ， 导 致 刚性 区 域 区 分 
脸 模 型 计算 得 到 。 本 文选 用 目前 覆盖 对 象 较 多 的 FRGC v2.0 度 下 降 ,。 但 是 总 的 来 说 , 非 刚 性 区 域 对 于 刚性 区 域 属于 噪声 ， 
的 中 性 表情 人 脸 模型 构建 ， 首 先 将 所 有 中 性 人 脸 模型 对 齐 ， 对 类 内 、 类 间 相 似 度 影 响 较 大 ， 而 刚性 区 域 对 于 非 刚 性 区 域 


姿态 矫正 具体 过 程 ， 首 先 将 待 矫 正人 脸 模 型 与 参考 模型 。” 响 相 对 较 小 。 因 此 ， 本 文 提 


基于 鼻尖 点 粗略 划分 刚性 / 非 


然后 对 这 些 模型 求 和 再 平均 。 的 影响 则 是 降低 原 刚 性 区 域 的 区 分 度 ， 对 类 内 类 间 相 似 度 影 
刚 


按照 鼻尖 点 位 置 粗 对 齐 ; 然后 再 利用 最 近 点 迭代 法 (iterative ”刚性 区 域 方法 的 原则 是 划分 
closest point，ICP) 将 待 矫 正人 脸 模型 与 参考 模型 进行 精细 免 把 非 刚 性 区 域 划分 到 刚性 区 域 。 


对 齐 ， 即 得 到 姿态 矫正 之 后 的 所 有 三 维 人 脸 模 型 。 相 较 其 他 特征 点 ， 锚 尖 点 特征 明显 ， 而 且 对 锚 尖 点 的 检 


0.4 数据 填补 及 下 采样 


性 / 非 刚性 区 域 的 同时 还 要 避 


测 也 相对 更 加 稳定 、 可 靠 。 通 过 前 面 的 分 析 可 知 ， 区 域 划分 


于 姿态 、 遮 挡 、 三 维 


E 扫 描 仪 计算 错误 等 原因 ， 矫 正 到 ”不 宜 太 过 依赖 其 他 面部 特征 点 定位 ， 同 时 也 不 宜 过 大 ， 以 免 


标准 正面 的 三 维 人 脸 可 能 存在 部 分 数据 缺失 。 本 文采 用 对 称 ” 包含 到 易 受 表情 变化 影响 区 域 的 非 刚性 区 域 “ 噪 声 ”。 本 文采 


另外 ， 为 了 保证 算法 


填补 的 方法 对 缺失 人 脸 数据 进行 填补 , 即 假设 人 脸 是 对 称 的 ， ”用 测 地 线 距离 进行 刚性 区 域 / 非 刚性 区 域 切 割 。 为 了 获得 确定 
缺失 的 部 分 数据 使 用 相应 的 对 称 进 行 填补 。 


最 佳 刚性 区 域 切割 半径 ， 本 文 提 出 如 下 策略 : 选取 待 识别 数 


的 运行 效率 ， 还 对 采集 高 密度 三 维 ”” 据 库 每 个 对 象 个 表示 不 同 表 情 变 化 的 三 维 人 脸 模型 。 以 外 


人 脸 区 域 进行 均匀 下 采样 操作 。 尖 点 为 圆心 ， 以 测 地 线 距 离 为 半径 ， 分 别 剪 切 出 不 同 切割 半 


录用 定稿 桑 高 丽 ， 等 : 一 种 基于 区 域 分 


径 下 的 人 脸 区 域 。 然 后 以 每 个 对 象 为 单位 ， 统 计 切割 人 脸 区 
域内 ， 中 性 表情 人 脸 模 型 与 含有 表情 人 脸 模 型 对 应 点 之 间 的 
平均 误差 ( 欧 氏 距离 )。 

图 3 展示 了 切割 半径 分 别 为 20 mm，25 mm，30 mm， 
3$ mm，40mm，45$mm，50 mm，55 mm， 随 机 选取 自 建 
WiseFace 三 维 人 脸 数据 库 〈 数 据 库 介 绍 详 见 实验 部 分 ) 1000 
个 对 象 在 不 同 切割 半径 下 得 到 的 所 有 三 维 人 脸 模 型 (包括 中 
性 表情 和 其 他 两 种 表情 ) 鼻子 区 域 对 应 点 之 间 的 平均 误差 情 
况 。 不 难看 出 ， 当 切割 半径 小 于 等 于 40mm 时 ， 对 应 点 之 间 
平均 误差 增 量 很 小 (和 0.05)， 而 当 切 割 半 径 大 于 40mm 时 ， 
对 应 点 之 间 平 均 误 差 增长 迅速 (>0.2)。 说 明 当 切割 半径 小 
于 40mm 时 ， 切 割 区 域 受 表情 变化 影响 较 小 ;而 当 切 割 半 径 
大 于 40mm 时 ， 切 割 区 域 受 表情 变化 影响 较 大 。 同 理 ， 可 以 
采用 同样 的 方法 获得 其 他 三 维 人 脸 数据 库 上 的 刚性 / 非 刚 性 
区 域 划分 半径 。 


到 


Css 


> 


工 


六 


对 应 点 平均 误差 
全 


0 | 1 1 1。 
20 25 30 35 ,40 45 50 55 
切割 半径 


图 3 不 同 切 割 半径 人 脸 区 域 间 的 平均 误差 
Fig.3 Average errors with different cropped radius 
1.2 非 刚性 区 域 相似 度 计算 
非 刚 性 区 域 即 易 受 表情 变化 影响 的 人 脸 区 域 。 针 对 非 刚 
性 区 域 相似 度 计算 ， 本 文 引 入 对 三 维 形变 比较 鲁 棒 的 3D 
weighted walkthroughs(3DWWs)I 算 子 ， 然 后 再 基于 3DWW 
算 子 计算 区 域 之 间 的 相似 度 。 
1.2.1 3DWWs 算 子 
3DWW 由 2DWW 扩展 而 来 ， 用 于 表示 三 维 点 对 之 间 的 
位 置 关 系 ， 对 三 维 人 脸形 变 具 有 很 好 的 鲁 棒 性 。 在 开始 基于 
3DWWs 算 子 的 非 刚性 人 脸 区 域 相似 度 匹 配 之 前 ， 首 先 介 绍 
3DWWs 的 基本 概念 。 


设 @=(XC ,yy ,2,) 与 b= (X,,),,2,) 表 示 三 维 空间 


内 的 任意 两 点 。 则 定义 Q,b 两 点 之 间 的 3DWWs 为 


Ww(i, 7,K) ,其 中 i,j, 太 分 别 对 应 4,B 投 影 到 XxX 轴 、] 轴 、 
Zz 轴 上 的 位 置 关系 : 


1 Xx,<xX, 1 y,<y, 1 2z,<z, 
i=4 0 x%,=xX,j= 0 yy,=y,,2=) 0 2z,=z, (0 
| wi > 1 y,>y, 1 z>2 


扩展 到 区 域 ， 任 给 两 连续 的 区 域 A 和 B， 其 3DWWs 可 
以 下 积分 的 形式 计算 ; 


w,.(4,B)=— [G6 -x)C,0%, -3,)C,(z, -zdbda, (2) 


浙 AB 


中 dD = dx,yz,,da = dx,y,z,,K,, 为 归 一 化 因子 ， 使 得 


割 的 表情 鲁 棒 三 维 人 脸 识 别 方法 
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也 放 取 值 范围 为 [0 1]; CC Cli, j,k [一 了) ] 于 降低 积 
分 计算 维 数 ，11 = : 
对 于 不 同 的 4,B 区 域 位 置 关 系 , 归 一 化 因子 大 ;定义 如 


=—1. 


oe | G) 
KD ts 
K, ;i =LLsHisDiDs 卉 和 0,j=+l,k=+l (5) 
K, ;i = LsHAHsDiDs 贱 颖 0,j=+l,k=+1. (6) 
K, ji =LLsHDashE +l,j=0,k=0; 0) 


K 


jk 


= 工 ) 万 万 Dj 有 0J)=+tLK=0 (8) 


K, jx = LsHsDaDs ES J]=0,k=+] (9) 


K, ,x =(|4|I3| 脐 医 0,j=0,k=0 (10) 
其 中: |M 刘 和 人 四 为 区 域 4 录 的 体积 ， 
工 ,上 ,LH,,H,,H,,,D,,D,,D,, 定 义 如 图 4 所 示 。 


根据 i, 户 左 的 不 同 取 值 , 可 知 W(Z ,KK) 的 大 小 为 3 3 3。 


图 4” 归 一 化 因子 中 各 变量 显 式 定义 ， 图 片 来 源 方法 中 


Fig.4 Variables explicit definition of the normalization factor, picture 


comes from method{ [1 


然后 , 统计 4,B 区 域内 点 对 个 数 (q,bp) 中 , b 位 于 a 


右 侧 (w,)、 上 侧 (w,)， 前 侧 (w.) 以 及 点 对 中 沿 XY(w,)， 


了 (Ww;;,), 辽 (w;;) 对 角 面 分 布 所 占 百 分 比 。 
Wx = Wnt Wn Wt Wi (11) 
Wy = Wn tt Wn Wn + Wi (12) 
Wz = Wt Wp Wt Wi (13) 
Wxy = Wi FW Wt Wi (14) 
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此 外 ，A,B 区 域内 点 对 (aq,b) 中 , 位 于 X 轴 (wi )、 

》 轴 0W)2Z 轴 (wz), 以 及 点 对 中 平行 
XY(Wwy), 谍 (wz ), 过 (wyz ) 平 面 所 占 百分比 。 

Wx = Wo t Wo tT Wo + Wo (17) 

Wi = Wort Wiort Wo 1t Wo (18) 

Wz = WiotW ot Wno two (19) 

Wz = WiotW ot Wro tw no (20) 

Wxy, = Woo + Wo,_10 (21) 

Wxz, = Wool 十 Wo0-1 (22) 

Wyz, = Wi0.0 + W100 (23) 


1.2.2 3DWWs 相似 度 计 算 


测 地 线 定义 为 是 计算 空间 内 两 点 沿 曲 面 的 最 短 距离 ， 作 
为 三 维 曲面 结构 的 一 种 特征 表达 ， 测 地 线 距 离 对 三 维 人 脸 
情 变 化 具有 很 强 的 容忍 度 ， 即 对 于 三 维 人 脸 模型 ， 存 在 表情 
变化 区 域 到 鼻尖 点 的 测 地 线 距离 受 表 情 变 化 影响 不 大 ,同时 ， 
3DWW 方法 器 也 验证 了 3DWWs 算 子 对 三 维 形变 具有 较 强 的 


鲁 棒 性 , 因此 , 本文 使 用 基于 测 底 线条 带 (iso-geodesic stripes ) 
的 3DWWs 算 子 相似 度 匹配 策略 。 首 先 ， 按 照 测 底线 距离 ， 
将 非 刚性 人 脸 区 域 划 分 为 不 同 的 条 带 ; 然后 再 提取 

3DWWs 算 子 ， 即 根据 三 维和 人 脸 上 各 点 距 自 尖 点 测 地 线 的 
离 , 按照 lcm 间隔 将 非 刚 性 人 脸 区 域 划 分 为 多 个 不 同 的 条 带 
然后 分 别 计算 测试 人 脸 模型 以 及 注册 库 中 各 注册 人 脸 模 型 在 


II 全 


对 应 条 带 的 3DWWs 算 子 ， 并 计算 所 提取 条 带 以 及 条 带 之 间 
3DWWs 算 子 的 相似 度 。 


@ 


第 4 条 带 
| 


© 


Front Back 


图 5 


不 同 三 维 人 脸 模型 的 第 1 和 第 4 条 带 对 比 
Fig.5 Comparison of the first and fourth stripes for different 3D face 


models 
以 WiseFace 数据 库 为 例 , 图 5 分 别 展 示 了 来 自 不 同 对 象 
三 维 人 脸 模 型 根据 测 底线 距离 划分 得 到 的 第 1 和 第 4 条 带 示 
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站 


色 、 绿 色 条 带 


人 脸 对 表情 变化 具有 一 定 的 鲁 棒 性 。 
在 划分 条 带 的 基础 上 ， 


市 ， 来 自 同 


] 测 底线 距离 划分 


a i 15) 所 示 ), 不 难看 出 第 1 条 带 , 来 自 同 一 对 象 的 红 
2 -lll bl bll 和 已 完全 重 赤 ， 而 对 于 受 表情 影响 较 大 的 第 4 条 带 
加 对 象 的 红 、 绿 色 条 带 吻 合 度 也 较 高 ， 说 明 | 
Wz = Wt WW TW (16) 


在 每 个 条 带 内 分 别提 取 3DWWs 


算 子 ， 定 义 条 带 之 间 3DWWs 算 子 的 相似 度 S 计 算 方法 为 


S(w,w )= xj|wx wel+ ;地 w+ 了 jw， w,| 
bo wi — w+ hz wiz — wz|+ bz wiz 
th wx — ws + hy [ws —w, |+ wa| (24) 
其 中 人 人 和 oz 4 ,by， 万 do Miz Nz 
均 为 常量 ， 且 
Zz YZ 1/6, Y 了 XY A 1/12, 3 二 入 守 


4 一 也 or = Mi 


j 任 意 两 个 人 脸 模 型 已 , 8 基于 
两 部 分 组 成 : 条 带 内 模型 


注 


似 度 


= ?zx =1/18. 


条 带 3DWWs 算 子 的 相 


的 3DWWs 算 子 的 相似 度 ; 


条 带 之 间 模 型 的 3DWWs 算 子 之 间 的 相似 度 ， 可 表示 为 


5S(p,8) = ye 


_20-0) a 


WN, (N, -)) D5 (w( (pi, Pn ),w(g, 8g;)) 


中 为 常量 ”= 0.1 N ,表示 条 带 的 个 数 。 


S(w(p, pi), w(gi,81)) 


(25) 


任 给 两 个 三 维 人 脸 模型 ， 甚 非 刚性 


ee 


区 域 相似 度 计 


a) 按 照 区 域 划分 策略 得 到 三 维 人 脸 模型 的 


| 
兰 


度 


区 域 和 非 


性 区 域 ; 
b) 将 非 刚 性 区 域 按 照 到 鼻尖 点 的 测 地 线 距 

的 条 带 并 提取 各 条 带 内 的 3DWWs 算 子 ; 

c) 按照 式 (25) 计 算 两 三 维 人 脸 模 型 非 刚性 


离 划 分 成 不 同 


区 域 之 间 的 相 


似 度 。 

1.3 刚性 区 域 相似 度 计算 
刚性 

最 能 代表 对 象 身份 信息 的 区 域 。 


区 域 即 受 表 情 变 化 影响 较 小 的 区 域 ， 也 是 最 稳定 、 
由 于 常用 的 几何 特征 如 曲线 、 


曲率 、 法 向 、 曲 面 面 积 、 曲 本 
维 点 云 的 空间 位 置 


体积 
息 或 依赖 特征 


点 定位 精度 。 


等 都 不 同 程 度 


也 损失 了 三 
因此 ， 本 文 


售 点 云 的 最 小 欧式 距离 作为 刚性 区 域 的 相似 度 。 


采用 基于 三 允 
相 比 其 他 几何 特征 ， 直 接 使 用 三 维 点 云 的 好 处 是 保留 了 三 维 
人 脸 模 型 的 最 准确 、 最 丰富 的 信息 。 

具体 做 法 : 直接 在 三 维 点 云 上 寻找 给 定 测 试 人 脸 模 型 与 
注册 库 中 各 注册 人 脸 模 型 之 间 的 最 优 刚体 变化 ， 借 助 非 刚性 
对 齐 方法 (nonrigid registration ) 方法 17 实现 所 有 三 维 人 脸 模 
型 之 间 的 稠密 对 齐 ， 笛 密 对 齐 之 后 的 三 维 人 脸 区 域 具 有 相同 


的 点 数 、 相 同 的 拓 寺 


网。 其 中 模型 B、C 为 同一 对 象 的 中 性 表情 和 大 笑 表 情 ， 用 


应 关系 ， 然 后 求 取 待 识别 


绿色 和 红色 条 带 表示 ; 模型 A 为 另 一 对 象 的 中 性 表情 ， 用 蓝 
色 条 带 表 示 。 从 图 5 左 侧 可 以 看 出 ， 即 来 自 同一 对 象 的 同一 
条 带 所 绚 盖 的 人 丛 区 域 基本 相同 ， 而 不 同 对 象 的 同一 条 带 所 
覆盖 的 人 脸 区 域 则 差别 很 大 ; 为 了 进一步 观察 条 带 分 布 情况 ， 
本 文 将 模型 A、B、C 的 第 1、 第 4 条 带 受 加 显示 〈 从 图 5 右 


卜 结构 ， 且 各 点 之 间 存 在 语义 上 的 一 一 对 
人 脸 模 型 与 注册 库 中 各 人 脸 模 型 对 


(公式 表示 如 


应 点 对 之 间 的 欧式 距离 作为 刚性 区 域 相似 度 值 
下 )， 与 测 ee 与 测试 模型 最 相似 。 


S= pp s) CR ze) tT), 


(26) 


柔 高 丽 ， 等 : 一 种 基于 区 域 分 割 的 表 


其 中 : p(Xj,yj,2);) 为 待 测试 人 脸 区 域 中 某 点 ，8(Xj,yj,2)) 为 


注册 库 中 人 脸 


齐 方法 求 得 旋转 和 平 
1.4 刚性 / 非 刚性 区 域 相 


区 域 中 其 语义 对 应 点 ，R, 了 了 分别 为 非 刚性 对 


移 矩 阵 。 
以 度 融合 


根据 上 述 刚 性 、 非 刚性 区 域 相 似 度 值 ， 本 文采 用 加 权 融 
合 的 方式 得 到 人 脸 模 型 的 最 终 相 似 度 S。 相 似 度 最 大 值 所 对 
应 的 对 象 做 为 测试 样本 的 最 终 识别 结果 。 
S=wW x +wWw, xXxS, (27) 
其 中 :1 与 W, 为 常数 ， 分 别 表示 刚性 区 域 、 非 刚性 区 域 的 权 
值 系数 。 
2 ”实验 结果 与 分 析 
2.1 实验 设置 及 参数 
为 了 验证 本 文 方法 的 有 效 性 ， 拟 在 两 个 不 同 的 三 维 人 脸 
数据 库 上 对 提出 方法 进行 评估 。 
TT WiseFace 三 维 人 脸 数据 库 : 包含 三 种 表情 (中 性 、 微 笑 、 
大 笑 )， 年 龄 跨度 为 18~60 岁 之 间 的 共 1002 人 的 高 质量 三 维 
= 人 脸 模 型 。 采 集 模型 由 川 大 智 胜 公司 开发 的 WiseFace 
加 。 WS-FC320 高 精度 三 维 人 脸 扫 描 仪 获取 ， 数 据 采 集 精度 大 约 
(a 为 0.05 一 0.1Imm。 
©O FRGC v2.0 三 维 人 脸 数 据 库 "9: 包含 7 种 表情 (中 性 、 
二 愤怒、 厌恶 、 恐 惧 、 快 乐 、 翡 伤 、 惊 喜 )、 姿 态 、 年 龄 共 466 
中 人 的 4007 个 三 维 人 脸 模 型 。 采 集 模 型 由 Minolta Vivid 
QD) ”900/910 三 维 扫描 仪 获取 ， 数 据 采 集 精 度 大 约 为 0.1mm。 
SS 实验 中 所 有 用 到 三 维 人 脸 模型 首先 按照 第 一 部 分 介绍 的 
GAN 预 处 理 过 程 鼻尖 点 检测 、 切 制 人 脸 区 域 、 姿 态 矫正 以 及 下 采 
日 样 ， 下 采样 密度 为 Imm 。 
> 2.2 WiseFace 数据 库 实验 结果 
>< 在 WiseFace 三 维 人 脸 数 据 库 上 ， 选 取 每 人 一 个 共 1002 
5 个 人 的 中 性 表情 三 维 人 脸 作为 注册 样本 集 ， 每 人 两 个 具有 表 
CS 情 变化 的 人 脸 模型 〈 分 别 为 微笑 、 大 笑 表情 ) 作为 测试 样本 
OO 表 1 WiseFace 数据 库 上 不 同 权 值 系数 对 应 识别 率 


Tab.1 Rank-one recognition rate according to different coefficients on 


the wiseface database 


权 值 系数 Rank 1 识别 率 
Wl W2 
0.1 0.9 97.31% 
0.2 0.8 99.01% 
0.3 0.7 96.47% 
0.4 0.6 96.47% 
0.5 0.5 94.51% 
0.6 0.4 88.67% 
0.7 0.3 86.67% 
0.8 0.2 82.67% 
0.9 0.1 82.67% 
表 1 展示 了 当 刚 性 / 非 刚性 区 域 取 不 同 大 小 的 权 值 时 , 提 
出 方法 在 WiseFace 三 维 人 脸 数 据 库 上 达到 的 识别 率 。 由 表 1 
可 以 得 出 ， 当 刚性 区 域 权 值 w =0.2， 非 刚性 区 域 权 值 w =0.8 
时 ， 融 合 后 的 识别 率 达 到 99.01%。 因 此 ， 针 对 具有 表情 变化 
三 维 人 脸 模型 进行 识别 时 ， 本 文 设置 w=0.2,w,=0.8， 即 
有 表情 变化 下 , 非 刚性 区 域 对 应 权 值 应 大 刚性 区 域 对 应 权 值 。 


情 鲁 棒 三 维 人 脸 识 别 方法 


为 了 验证 本 文 提 出 基于 


情 变 化 的 有 效 性 ， 本 文 特 选 


别 方法 (3DWW) 
维 人 脸 区 域内 提取 3DWWs 算 子 并 计算 算 子 之 间 
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刚性 、 非 刚 ; 
择 非 区 二 


0 作为 基准 方法 。 


日 于 3DWWs 算 子 对 表情 


3 


DWW 方法 对 表情 变 


化 表现 


的 相似 度 ， 
度 的 ， 基 


变化 具有 较 强 容忍 
良好 的 鲁 棒 性 。 


6 展示 了 提出 方法 与 


其 准 方法 在 含有 表情 变化 数据 身 


应 


法 


去 


上 的 CMC 曲线 。 从 中 不 难 
3DWWI。 


mm 


提出 方法 的 rank 1 识别 率 为 99.01%, 
3DWW 的 rank 1 识别 率 仅 为 80%。 
月 , 本 文 提出 的 基于 鼻尖 点 的 刚性 / 非 刚 性 区 域 划分 并 分 别 采 


看 出 ， 提 出 方法 明显 优 于 基准 广 


生 区 域 划分 方法 对 表 
分 割 的 表情 鲁 棒 人 脸 识 
3DWAW 方法 中 在 整个 三 


方 
对 比方 
衣 


实验 结果 也 进一步 


用 不 同 的 相似 度 计算 方法 是 可 靠 且 有 效 的 。 
Neutral vs neutral 
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2.3 ”FRGC v2.0 数据 库 实验 


图 6 本 文 与 


基准 方法 在 WiseFace 数据 库 上 识别 率 


Fig. 6 ”Recognition curves achieved by the proposed and baseline 


methods on th 


e Wiseface database 


结果 


为 了 与 其 他 更 多 基于 表 


情 不 变 的 三 维 人 脸 识 别 方法 在 术 


目 


同 的 数据 库 平 台 上 进行 比较 ， 本 文 方法 还 在 使 用 比较 广泛 、 
挑战 也 更 大 的 FRGC v2.0 三 维 人 脸 数据 库 对 提出 方法 的 有 效 
性 进行 验证 。 

为 了 便于 与 CSDCLI91]，Curvature-basedLl0 ，Elastict8 ， 
3DWWI!S], PCAl!S], meshSIFTID, Riemanniant?!], Ensemblel!5), 
EI3DP2 CPDI31 等 方法 进行 比较 。 选 取 FRGC v2.0 三 维 人 脸 
数据 库 中 每 个 对 象 1 个 中 性 表情 三 维 人 脸 模型 作为 注册 集 ， 

其 他 所 有 上 有 具有 表情 变化 三 维 人 脸 模 型 作为 测试 集 。 

表 2 FRGC v2.0 数据 库 上 不 同方 法 达到 rank 1 识别 率 
Tab.2 Rank-one recognition achieved by different methods on the 
FRGC 2.0 database 

方法 Rank 1 识别 率 

提出 方法 98.52% 

A-SRC05 98.48 

3DWW 9) 91.40% 

CSDC'™™) 98.22% 

Elastic 's] 97.70% 

Curvature-based "1 97.51% 
meshSIFT 501 89.6% 
Riemannian 5211 97% 

Ensemble 5151 94.15% 
EI3D 5221 97% 

CPD 0231 97.91% 

PCA 0 73.40% 

表 2 列 出 了 提出 方法 与 对 比方 法 分 别 在 FRGC v2.0 数据 


录用 定稿 桑 高 丽 ， 等 : 一 种 基于 区 域 分 


库 上 分 别 取 得 的 Rank 1 识别 率 。 不 难看 出 ， 同 等 条 件 下 ， 不 
管 是 基于 统计 模型 类 方法 (5, 当 ， 还 是 基于 同等 形变 模型 类 方 
法 3821， 甚至 于 区 域 类 方法 B52 于 ,提出 方法 取得 了 最 高 
的 人 脸 识 别 率 ，Rank 1 识别 率 达 到 98.52%。 比 较 表 2 和 图 6 
中 的 结果 可 以 发 现 , 提出 方法 在 WiseFace 三 维 人 脸 数据 库 上 
rank 1 识别 结果 要 高 于 在 FRGC v2.0 三 维 人 脸 数 据 库 上 的 
rank 1 识别 率 ， 而 WiseFace 三 维 人 脸 库 数 据 规 模 (1002 人 ) 
明显 大 于 FRGC v2.0 三 维 人 脸 数据 库 (466 人 )。 出 现 这 个 结 
果 主 要 有 以 下 两 方面 原因 : 一 方面 ,由 于 WiseFace 三 维 人 脸 
数据 库 使 用 的 三 维 人 脸 扫 描 仪 的 采集 精度 约 是 FRGC v2.0 三 
维 人 脸 数据 库 使 用 三 维 扫描 仪 采集 精度 的 10 倍 , 较 高 准确 度 
的 三 维 人 脸 数 据 有 利于 最 终 的 识别 ， 另 一 方面 ，WiseFace 三 
维 人 脸 数 据 库 仅 包含 两 种 不 同 的 表情 变化 〈 微 笑 和 大 笑 表 
情 )， 而 FRGC v2.0 则 包含 多 达 7 种 不 同 的 表情 变化 ， 表 情 
变化 越 复杂 ， 数 据 库 的 挑战 性 也 越 大 。 


3 ”结束 语 


为 了 应 对 表情 变化 引起 的 三 维 人 脸 识别 率 下 降 的 问题 ， 
本 文 提出 基于 鼻尖 点 区 域 分 割 的 表情 鲁 棒 三 维 人 脸 识 别 方 
法 。 仅 依靠 鼻尖 点 将 三 维 人 脸形 状 划 分 为 表情 不 变 区 域 和 表 
情 易 变 区 域 ， 然 后 分 别针 对 表情 不 变 区 域 和 表情 易 变 区 域 区 
域 采用 不 同 的 特征 描述 方式 并 分 别 计算 测试 人 脸 模型 与 注 
库 中 各 三 维 人 脸 模 型 之 间 的 相似 程度 ; 最 后 将 表情 不 变 区 域 / 
刚性 区 域 和 表情 易 变 区 域 / 非 刚性 区 域 的 相似 度 进行 加 权 融 
合 实现 最 终身 份 识 别 。 在 自 建 WiseFace 以 及 FRGC v2.0 三 
维 人 脸 数据 库 上 的 实验 结果 表明 提出 仅 依靠 鼻尖 点 的 区 域 划 
分 策略 不 但 快捷 、 可 靠 ， 而 且 对 表情 变化 体现 出 很 强 的 鲁 棒 
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